Ngoài việc gia phong trên, vua Thiệu Trị còn sai người lập đền thờ họ Hồ ở xã Xuân Hòa (huyện Hương Trà, phủ Thừa Thiên) và ở xã Linh Chiểu Tây (huyện Nghĩa An, tỉnh Biên Hòa). Lúc bấy giờ, cả hai đều gọi là "Hồ tộc từ". Năm Nhâm Tý (1852), vua Tự Đức (tức chắt ngoại ông Bôi) cho đổi tên nhà thờ ở Biên Hòa là "Dũ trạch từ"[4].

Lo lắng các ngôi mộ và nhà thờ của họ Hồ ở Biên Hòa bị xâm hại, nên xưa kia (1863) vua Tự Đức đã cử Phan Thanh Giản sang Pháp thương thuyết việc chuộc đất, một phần cũng vì điều này [5]. Ngày 15 tháng 3 năm 1874, nỗi lo này một lần nữa đã thể hiện rõ ở điều 5 trong Hòa ước Giáp Tuất, trích:

...Mười một ngôi mộ của họ Phạm [6]...và ba ngôi mộ của họ Hồ ở trong lãnh vực làng Linh Chiểu Tây và Tân Mai (tỉnh Biên Hòa), không được bóc mộ, đào xới, xâm phạm hay đập phá. Sẽ cấp một lô đất rộng 100 mẫu cho các ngôi mộ nhà họ Phạm và một lô tương đương như thế cho nhà họ Hồ. Hoa lợi thu được trên các lô đất nầy được dùng để gìn giữ và bảo toàn các ngôi mộ và chu cấp các gia đình lo việc trông nôm các phần mộ. Các lô đất được miễn các thứ thuế và những người trong dòng họ Phạm, Hồ cũng sẽ được miễn thuế thân, khỏi thi hành quân dịch hay đi dân công[7].

Tuy nhiên khu đền mộ họ Hồ rộng lớn (khoảng 5.000 m2) xưa kia, ngày nay đã thành phế tích, và nằm lẫn trong khu dân cư ở quận Thủ Đức, Thành phố Hồ Chí Minh. Phần linh vị vợ chồng Hồ Văn Vân và linh vị vợ chồng Hồ Văn Bôi thì được người dân đưa vào thờ tại đình Linh Chiểu, quận Thủ Đức[8].